Come per la maggior parte delle razze canine russe, i cinofili hanno sempre incontrato difficoltà quando hanno cercato di ottenere informazioni sull'origine e sulla storia dei cani dell'ex Unione Sovietica. Dopo la caduta del muro di Berlino e lo sviluppo di canili in Europa occidentale, i contatti sono ora più facili, ma i russi stessi non hanno informazioni precise perché la razza è stata allevata principalmente da pastori caucasici ed era praticamente sconosciuta al di fuori del suo habitat.

Si ritiene che abbia almeno 2.500 anni, se non di più: è una delle razze più antiche della terra! Era tradizionalmente utilizzato dai russi e dalle popolazioni delle regioni montuose tra la Turchia e l'Iran, tra il Mar Caspio e il Mar Nero. Il ruolo del pastore caucasico era quello di guidare e proteggere le greggi dai grandi predatori come lupi, orsi e linci. Per svolgere questo tipo di lavoro, il cane doveva essere forte, coraggioso e intimidatorio. L'isolamento geografico e la selezione naturale hanno quindi prodotto una razza di grandi protettori. Il cane è stato quindi sottoposto a condizioni di vita estreme, che ne hanno influenzato la costruzione e il carattere, rendendolo forte, impavido e insegnandogli a risparmiare le energie.

La sua origine non è ben nota, ma è un cane che non è praticamente cambiato in 2000 anni. Il suo antenato potrebbe essere il cane da pastore georgiano, meglio conosciuto come "tarti", che è un incrocio tra un lupo e un cane da montagna o gli antichi mastini tibetani.

La selezione della razza è iniziata nell'ex URSS negli anni '20, ma è apparsa in Europa solo nel 1930, in occasione di un'esposizione a Norimberga. Solo negli anni '60 i primi esemplari di questa razza sono arrivati in Europa. Hanno iniziato a comparire sui ring internazionali nel 1979. Lo standard della razza è stato stabilito nel 1985. Tuttavia, è ancora piuttosto rara in Francia.

Nell'ex DDR, questi cani venivano utilizzati per sorvegliare i confini del Paese, in particolare il Muro di Berlino. Quando il muro cadde nel 1989, i cani - circa 700 - furono abbattuti e alcuni fortunati, spesso cuccioli, furono rubati da soldati e badanti che li riportarono alle loro famiglie in tutta la Germania.

Utilizzati nelle prigioni russe per sorvegliare i prigionieri, i pastori del Caucaso sono stati in passato impiegati nella difesa dell'Armata Rossa.
Oggi, le principali aree in cui si trovano i pastori caucasici sono le repubbliche federate di Georgia, Armenia, Azerbaigian, le repubbliche autonome di Kabardino-Balkaria, Daghestan e Kalmykia, le regioni steppose del Caucaso settentrionale e l'area intorno ad Astrakhan.